GPT の検索拡張生成 (RAG) とセマンティック検索

public.icon

https://help.openai.com/en/articles/8868588-retrieval-augmented-generation-rag-and-semantic-search-for-gpts

RAG は、データソースから関連するコンテキスト情報を取得し、その情報をユーザーのプロンプトとともに大規模な言語モデルに渡すプロセス

https://openai.intercom-attachments-1.com/i/o/944097712/0c04cd1559a9cfbedf2a1237/s_2053BBCB2F039E3BBD53F077FDEF28F58E8A49B99632357DE8DCA7CAD68D0A10_1704327227253_Screenshot%2B2024-01-03%2Bat%2B4.13.36PM.png?expires=1729563300&signature=d36276108aada851fbf4287acb12acebc4b972fb865f3d6336be923b1ce8cf2c&req=fSQjFsB5moBdFb4f3HP0gEcIQnEytGMbBmPFnIHyBlRjB6WrI61%2FFVB61lyg%0AhMcguKGOhg0U%2FPIfrg%3D%3D%0A

RAG は、モデルが学習した情報に含まれていない知識をモデルが必要とするユースケースに役立ちます。たとえば、サポートチームが顧客からの問い合わせに答えるのに役立つ GPT を構築しているとします

なるほどねtkgshn.icon*3

https://gyazo.com/12709f2dbda3f5e5cea6366ccd7c1b4b

data sourceのひとつがベクトルデータになることがあるのねtkgshn.icon*3

TTTCの特定のクラスタの意見と対話する機能はこれの1つと理解できるわけだtkgshn.icon

LLMで検索（あいまい検索）になると、従来のSQL叩ける系ではなくて、結局ベクトルにする必要があるわけか

まぁ、最近だとちゃんとしたデータをベクトル化するのはエントロピーが下がってるから簡単だもんねtkgshn.icon